Deteksi Kerumunan Menggunakan Metode Fully-Convolutional Network pada Kamera Drone

Pada masa pandemi virus COVID-19 pemerintah menetapkan peraturan yang mengharuskan masyarakat untuk menerapkan beberapa protokol kesehatan. Salah satunya adalah menghindari kerumunan dan menjaga jarak. Untuk membantu pengawasan kepatuhan masyarakat terhadap protokol tersebut pada area yang luas, diperlukan sebuah sistem monitoring untuk memantau adanya kerumunan dengan menggunakan drone. Video yang direkam menggunakan kamera drone diproses menggunakan metode Fully-Convolutional Network (FCN) dengan menggabungkan loss function untuk tugas klasifikasi yang menentukan kerumunan atau tidak dan loss function untuk tugas regression yang menghitung kepadatan berdasarkan rata rata clustering coefficient. Penelitian ini mengimplementasikan metode FCN dengan input berupa rangkaian gambar yang diambil dari video sehingga menghasilkan output berupa keputusan apakah sejumlah orang dalam gambar itu berkerumun atau tidak. Data latih yang digunakan adalah VisDrone Dataset dan P-DESTRE Dataset yang terdiri dari rangkaian gambar yang direkam menggunakan drone yang diterbangkan dengan ketinggian rata-rata dengan mengambil contoh video berisi kerumunan dan bukan kerumunan. Hasil pengujian terbaik didapatkan menggunakan pre-trained model 5 dimana memiliki 2 keluaran yaitu 1 klasifikasi dan 1 regresi yaitu memiliki akurasi klasifikasi sebesar 0,978 sedangkan mean ablosute error untuk regresinya sebesar 0,141

Temu Kembali Citra Makanan Menggunakan Representasi Multi Texton Histogram

Temu kembali citra merupakan suatu metode pencarian citra dengan melakukan perbandingan antara citra query dengan citra yang terdapat dalam database berdasarkan informasi yang ada. Temu kembali citra untuk pengenalan makanan sangat dibutuhkan untuk pasien diet. Dalam tugas akhir ini diusulkan suatu metode temu kembali citra makanan berdasarkan input berupa citra makanan yang dibandingkan dengan database citra makanan yang ada. Studi ini secara khusus membahas mengenai perancangan sebuah sistem temu kembali citra makanan dengan representasi Multi-texton Histogram (MTH). Proses pertama dilakukan deteksi orientasi tekstur menggunakan metode Sobel Edge Detection. Setelah itu dilakukan kuantisasi warna pada ruang warna RGB. Serta deteksi Texton untuk tahap ekstraksi fiturnya. Untuk mendapatkan kemiripan citra, dihitung jarak antar citra dengan menggunakan distance metric. Setelah didapatkan jarak antar citra, diurutkan dari yang terdekat sampai yang terjauh jarak citranya untuk menentukan temu kembali citra. Hasil yang didapat adalah berupa ditemukannya citra-citra yang mirip dengan citra query.Berdasarkan uji coba yang dilakukan pada citra, hasil pencarian citra mirip dengan rata-rata nilai precision terbaik sebesar 40,50% dan recall terbaik sebesar 8,61% pada 18 level orientasi dan 64 level kuantisasi warna

Analisis Pembacaan Gerakan Bibir Menggunakan Gabungan Arsitektur Convolutional Neural Network dan Recurrent Neural Network

Perkembangan bidang deep learning membawa pengaruh besar terhadap kemajuan teknologi. Pengucapan kata secara verbal dapat dibaca dengan pembelajaran mandiri melalui gerakan bibir. Dengan menggunakan arsitektur ekstraksi fitur dari suatu citra dan menggabungkannya dengan arsitektur klasifikasi secara sequence, permasalahan visual speech recognition ini dapat menjadi langkah awal untuk membantu para penyandang tuna rungu, yang dominan memahami komunikasi dari gerakan bibir lawan bicara ataupun dengan menggunakan bahasa isyarat. Selain itu, manfaat dari implementasi sistem ini dapat membantu lawan bicara dalam memahami pembicaraan pada kondisi audio yang terdistorsi. Arsitektur deep learning yang digunakan pada eksperimen ini mengacu pada implementasi dengan menggunakan arsitektur convolution residual network dan recurrent neural network, yang dapat mengklasifikasikan data berelasi secara sequence atau memiliki relasi secara strukturnya dari waktu ke waktu, untuk kasus ini berupa citra dari frame ke frame. Data yang digunakan untuk pembelajaran model berasal dari dataset Lip Reading in the Wild (LRW) yang merupakan potongan video dari pembicara stasiun berita BBC, dengan jumlah data sebanyak 500 kata dan mencapai 1000 data latih video yang berbeda-beda dalam bahasa Inggris

Implementasi Metode Kombinasi Histogram of Oriented Gradients dan Hierarchical Centroid untuk Sketch Based Image Retrieval

Teknik pencarian gambar yang saat ini umum digunakan masih berbasis teks atau text based search seperti pada mesin pencarian Google Image, Yahoo, dan lain sebagainnya. Namun metode ini masih kurang efektif karena nama dari sebuah file tidak dapat merepresentasikan isinya, oleh karena itu diperlukan pemilihan kata kunci yang benar-benar tepat agar hasil yang diinginkan dapat ditampilkan dengan baik. Salah satu teknik pencarian gambar yang saat ini sedang diteliti adalah Sketch-Based Image Retrieval (SBIR). Dengan teknik ini user dapat menginputkan sketsa gambar atau user dapat menggambarkan obyek pada area yang disediakan lalu sistem akan melakukan pencocokkan sketsa dengan database gambar. Untuk mengimplementasikan teknik ini digunakan metode kombinasi Histogram of Oriented Gradient dan Hierarchical Centroid. Tahapan implementasi teknik tersebut yaitu, yang pertama melakukan preprocessing pada gambar dengan cara mendeteksi tepi obyek lalu membuat citra menjadi hitam putih. Yang kedua melakukan ektraksi fitur menggunakan Histogram of Oriented Gradients dan Hierarchical Centroid dan menghasilkan fitur vektor. Yang terakhir menghitung jarak kedekatan antara gambar yang diuji dengan gambar yang terdapat dalam database menggunakan Euclidean Distance. Hasil Euclidean Distance kemudian diurutkan secara ascending dan dikembalikan sejumlah gambar yang jaraknya terdekat. Hasil temu kembali menghasilkan nilai Average Normalized Modified Retrieval Rank sebesar 0,35 dan nilai presisi dan recall sebesar 78 % dan akurasi sebesar 96%

Implementasi deteksi serangan epilepsi dari data rekaman EEG menggunakan Weighted Permutation Entropy dan Support Vector Machine.

Epilepsi merupakan gangguan neurologis jangka panjang yang ditandai dengan serangan-serangan epileptik. Serangan epileptik dapat terjadi dalam waktu singkat hingga guncangan kuat dalam waktu yang lama. Epilepsi adalah penyakit yang cenderung terjadi secara berulang dan tidak dapat disembuhkan, namun serangan-serangan epileptik yang terjadi dapat dikontrol melalui pengobatan. Pada studi ini, data rekaman electroencephalogram (EEG) dibagi menjadi beberapa window menggunakan segmentasi atau dekomposisi. Proses selanjutnya adalah mengekstraksi setiap window dengan menggunakan Weighted Permutation Entropy yang menghasilkan satu fitur setiap window. Uji coba fitur menggunakan k-fold cross-validation dengan membagi data menjadi data training dan data testing. Selanjutnya data diklasifikasi menggunakan Support Vector Machine. Data rekaman EEG yang digunakan untuk pengujian ini berasal dari ''Klinik für Epileptologie, Universität Bonn” yang diperoleh secara online yang berjumlah 500 data. Data ini terdiri dari serangan epilepsi (set S) dan bukan serangan epilepsi (set Z, N, O, F) yang masing-masing set terdiri dari 100 data. Uji coba dilakukan pada data set S digabung dengan setiap set lain. Sehingga data yang digunakan sebanyak 200 data rekaman EEG untuk setiap uji coba. Berdasarkan uji coba, metode tersebut menghasilkan akurasi rata-rata sebesar 91,88%

Segmentasi Citra pada Robot Sepak Bola Beroda Menggunakan Multilayer Neural Network dan Fitur Warna HSV

Robot sepak bola beroda merupakan robot beroda yang dikembangkan untuk bermain sepak bola secara full autonomous. Robot bertanding secara tim melawan tim lain pada lapangan indoor yang telah disesuaikan ukurannya. Selama pertandingan, tidak diperbolehkan adanya campur tangan manusia. Pada robot, telah di pasang sebuah kamera dengan tujuan untuk  menemukan di mana objek penting berada. Salah satu tahapan sebelum mendeteksi objek adalah segmentasi. Segmentasi citra bertujuan untuk memisahkan objek dengan latar belakang atau membagi citra ke dalam beberapa daerah dengan setiap daerah memiliki kemiripan atribut. Salah satu cara untuk melakukan segmentasi citra adalah dengan mengklasifikasikan tiap piksel pada citra sebagai objek tertentu maupun latar belakang. Pada penelitian ini, dilakukan klasifikasi tiap piksel pada ruang warna HSV menjadi 6 kelas. Yaitu: kawan (cyan), lawan (magenta), lapangan (hijau), garis lapangan (putih), bola (orange), dan objek lain (hitam). Proses klasifikasi dilakukan dengan menerapkan model Multilayer Neural Network. Kemudian hasil klasifikasi tersebut digunakan untuk membangun lookup table yang akan digunakan untuk klasifikasi tiap piksel warna secara cepat pada komputer robot. Dari hasil uji coba dan fine tuning terhadap hyperparameter dan arsitektur pada multilayer neural network, didapatkan nilai error rata-rata terkecil yaitu 0.16%. Kemudian dari evaluasi hasil segmentasi, diperoleh error rata-rata sebesar 19.37%

Koreksi Kemiringan Citra Menggunakan Planar Homography Untuk Pengenalan Pelat Nomor Kendaraan

Pengenalan pelat nomor kendaraan atau dikenal dengan istilah License Plate Recognition (LPR) merupakan sebuah bidang permasalahan yang berfokus pada pendeteksian dan pengenalan pelat nomor kendaraan. Dalam proses pengenalan pelat nomor akan terdapat banyak faktor eksternal yang dapat mempengaruhi proses kerja sistem, salah satunya adalah posisi dan orientasi kendaraan relatif dengan posisi kamera ketika proses pengambilan gambar. Kemiringan ini akan menimbulkan masalah seperti karakter yang bersentuhan ataupun karakter pada pelat nomor menjadi rusak. Akibatnya, ini akan memiliki efek semakin sulitnya untuk melakukan segmentasi dan pengenalan karakter pada pelat nomor. Untuk mengatasi masalah tersebut, Tugas Akhir ini membuat sistem koreksi kemiringan pelat nomor menggunakan planar homography yang kemudian akan di implementasikan pada sistem pengenalan pelat nomor kendaraan otomatis. Koreksi kemiringan dilakukan dengan mendeteksi tepi pelat nomor menggunakan algoritma Canny Edge Detection, kemudian mencari titik sudut pelat nomor, dan melakukan koreksi kemiringan dengan menggunakan planar homography. Setelah citra pelat nomor diperbaiki kemiringannya maka proses segmentasi dan prediksi dapat dijalankan dengan baik dan tepat. Pengujian dilakukan dalam tiga skenario yaitu pengujian deteksi sudut manual, pengujian algoritma edge detection, dan pengujian pada data video. Hasil segmentasi optimal pada video yang optimal di dapatkan dengan menggunakan algoritma Canny edge detection yang memiliki nilai rata-rata akurasi 75.88%, presisi 87.26%, dan recall 76.24% dan hasil prediksi pada video optimal dengan nilai rata-rata akurasi 77.45%, presisi 82.50%, dan recall 77.72%

Deteksi Ucapan untuk Sistem Pengawasan Asesmen (iProctor) Menggunakan Metode Deep Learning

Asesmen adalah kegiatan mengumpulkan informasi ketercapaian kompetensi siswa. Asesmen merupakan bagian integral dari proses pembelajaran, tak terkecuali dalam pembelajaran berbasis Out Door Learning (ODL) dan Massive Open Online Course (MOOC). Sebuah studi menyatakan bahwa persentase siswa yang melakukan kecurangan dalam pelaksanaan kegiatan akademik terus meningkat, dan lebih mudah bagi mereka untuk berlaku curang pada asesmen yang dilakukan secara daring. Hal ini menjadi tantangan untuk perkembangan iProctor, yaitu platform untuk melakukan asesmen seara daring. Untuk mengurangi risiko kecurangan, sistem pelaksanaan dan pengawasan ujian yang valid menjadi suatu hal yang penting. Pada penelitian ini diuji sistem pengawasan otomatis bedasarkan audio. Data audio didapatkan dari mikrofon yang terletak pada ruang dilakukannya asesmen. Sistem pengawasan asesmen dilakukan secara otomatis dengan metode deteksi ucapan menggunakan metode deep learning dengan model CNN. Data audio di ekstraksi fitur menggunakan log-mel spectrogram. Hasil esktraksi fitur menjadi input model CNN MobileNetV3. Hasil prediksi dari MobileNetV3 dilakukan proses smoothing dengan metode Majority Vote. Hasil penelitian ini menunjukkan bahwa model deteksi ucapan memberikan hasil terbaik dengan model CNN MobileNetV3-Large pada dataset librispeech dengan speech f1 score 0.8652, non-speech f1 score 0.7332, dan hasil weighted average 0.8242. Ekstraksi fitur menggunakan metode log-mel spectrogram menggunakan parameter fft size 512, mel bins 40, hope size 8, lower frequency 300, upper frequency 8000. Hasil dari log-mel spectrogram dibagi menjadi banyak frame 25ms dan step 12.5ms atau overlap 50

PENGUKURAN KETEBALAN TULANG KORTIKAL PADA CITRA PANORAMIK GIGI BERBASIS KURVA POLINOMIAL

Pengukuran ketebalan tulang kortikal pada citra panoramik gigi merupakan salah satu cara yang dapat digunakan untuk mendiagnosa osteoporosis. Namun, pengukuran ketebalan tulang kortikal dari citra panoramik gigi umumnya masih dilakukan secara manual oleh ahli medis. Makalah ini mengusulkan penerapan metode kurva polinomial untuk melakukan pengukuran ketebalan tulang kortikal secara kontinyu pada citra panoramik gigi. Tahapan yang dilakukan adalah pemilihan ROI (Region Of Interest), segmentasi, dan pengukuran ketebalan tulang kortikal. Pada tahap pertama dilakukan pemilihan ROI berukuran 129×129 piksel pada bagian kiri dan kanan tulang kortikal. Segmentasi dilakukan dengan metode multi-scale line operator, hole filling, distance transform, dan dynamic programming. Pada tahap terakhir dilakukan pengukuran dengan cara memodelkan tepi atas tulang kortikal hasil segmentasi menggunakan kurva polinomial orde dua untuk menentukan arah pengukuran. Data yang digunakan dalam tahap uji coba adalah 123 citra panoramik gigi dari wanita menopause. Berdasarkan uji coba, diperoleh hasil segmentasi paling optimal yaitu dengan rata-rata nilai ME 5,9%, RAE 11,1% dan MHD 3,2. Sedangkan hasil uji coba pengukuran tulang kortikal menggunakan metode berbasis kurva polinomial diperoleh nilai sensitivity 88,2% dan specificity 56,6%